深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律；

如果你想知道为什么sparse feature在某些应用里面表现很好，可以参考： 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？ - Bihan Wen 的回答. 如果你想知道sparse的意义何在，可以参考： 稀疏表达的意义在于？

Sparse Attention（稀疏注意力）正是为了解决这一问题而提出的一种优化方法。它通过在计算时仅关注部分重要的输入元素，从而大大减少了计算和存储的开销。 Attention机制简介. 在了解Sparse Attention之前，先简要回顾一下标准的Attention机制是如何工作的。

Feb 18, 2025 · 这就是 Sparse attention 类的论文的核心出发点，其中的关键就是用什么算法去压缩 token 数量，NSA 也不例外。 NSA 的野心要比之前的论文要大一些，它希望可以同时适用于训练和推理（以前的论文一般做推理，因为，大家做不起训练的实验。

Sparse Transformer 的提出动机是基于一个在 CIFAR-10 数据集上，使用一个 128 层 Self-Attention 模型，对注意力模式可视化后得到的。 如图 1 到图 4 所示，它是一个基于自回归的图像生成模型，图中白色区域是注意力机制的高权值位置，黑色区域是被 mask 掉的像素。

Oct 19, 2017 · 在Sparse双塔模型中，稀疏特征通常通过one-hot编码或者稀疏表示（如TF-IDF）来处理。这种表示方式会为每个可能的值创建一个维度，即使某些值在实际数据中从未出现过。 Sparse双塔模型在处理稀疏特征时，可能会面临维度灾难，因为特征空间可能会非常大。

稀疏主成分分析简介. 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一种新的主成分分析方法，稀疏主成分分析（Sparse Principal Component Analysis ，SPCA）。

Sparse representation 不见得比wavelet效果好，redundant system会比wavelet效果好，通俗点讲就是因为当某些分量丢失时，这些分量所载负的信息， 能在没有损失的其它分量里存在，你只要有足够精巧的办法把这些信息恢复出来，就可以取得让人惊叹的结果。

Sparse R-CNN确实做的很好，等的就是这样的工作！ 极致简单，不需要复杂anchor先验设置、不需要nms、不需要RPN，将整个faster rcnn的pipeline变得非常简洁。 论文核心思想应该是借鉴了上述三篇论文做法，简单来说是核心组件是：

其中，“Sparse Bayesian Learning and the Relevance Vector Machine“一文从第二类ML算法角度推导了SBL的迭代公式。"Fast Marginal likelihood maximisation for sparse Bayesian models"从快速边缘似然最大化的角度推导了SBL的快速更新算法。